之前如果需要使用爬蟲,第一時間我會想到的都是使用selenium,playwright或cypress等測試框架搭配beautifulsoup或是parser等工具來爬取資料
剛好看到最近有個叫firecrawl工具聽說抓取訊息蠻方便的,於是嘗試在n8n裡面設定看看
流程大致為:
1.註冊firecrawl
2.使用firecrawl的scrape方法,抓取網頁所有內容的html並截圖
3.在n8n設定http request
4.http request欄位內設定authorization方式為bearer token,value為firecrawl api-key
5.點選execute step確認回傳結果是否正確
iThome鐵人賽
看影片追技術